Deploying reliable deep learning techniques in interdisciplinary applications needs learned models to output accurate and ({even more importantly}) explainable predictions. Existing approaches typically explicate network outputs in a post-hoc fashion, under an implicit assumption that faithful explanations come from accurate predictions/classifications. We have an opposite claim that explanations boost (or even determine) classification. That is, end-to-end learning of explanation factors to augment discriminative representation extraction could be a more intuitive strategy to inversely assure fine-grained explainability, e.g., in those neuroimaging and neuroscience studies with high-dimensional data containing noisy, redundant, and task-irrelevant information. In this paper, we propose such an explainable geometric deep network dubbed as NeuroExplainer, with applications to uncover altered infant cortical development patterns associated with preterm birth. Given fundamental cortical attributes as network input, our NeuroExplainer adopts a hierarchical attention-decoding framework to learn fine-grained attentions and respective discriminative representations to accurately recognize preterm infants from term-born infants at term-equivalent age. NeuroExplainer learns the hierarchical attention-decoding modules under subject-level weak supervision coupled with targeted regularizers deduced from domain knowledge regarding brain development. These prior-guided constraints implicitly maximizes the explainability metrics (i.e., fidelity, sparsity, and stability) in network training, driving the learned network to output detailed explanations and accurate classifications. Experimental results on the public dHCP benchmark suggest that NeuroExplainer led to quantitatively reliable explanation results that are qualitatively consistent with representative neuroimaging studies.
translated by 谷歌翻译
This paper is a technical overview of DeepMind and Google's recent work on reinforcement learning for controlling commercial cooling systems. Building on expertise that began with cooling Google's data centers more efficiently, we recently conducted live experiments on two real-world facilities in partnership with Trane Technologies, a building management system provider. These live experiments had a variety of challenges in areas such as evaluation, learning from offline data, and constraint satisfaction. Our paper describes these challenges in the hope that awareness of them will benefit future applied RL work. We also describe the way we adapted our RL system to deal with these challenges, resulting in energy savings of approximately 9% and 13% respectively at the two live experiment sites.
translated by 谷歌翻译
随着社交软件和多媒体技术的持续发展,图像已成为传播信息和社交的重要载体。如何全面评估图像已成为最近研究的重点。传统的图像美学评估方法通常采用单个数值总体评估评分,该评估具有一定的主观性,无法再满足更高的美学要求。在本文中,我们构建了一个称为Aesthetic混合数据集的新图像属性数据集,该数据集具有属性(AMD-A)和设计融合的外部属性功能。此外,我们还提出了一种有效的方法,用于在混合多属性数据集上进行图像美学属性评估,并通过使用ExtisticNet-B0作为骨干网络来构建多任务网络体系结构。我们的模型可以实现美学分类,整体评分和属性评分。在每个子网络中,我们通过ECA通道注意模块改进特征提取。至于最终的整体评分,我们采用了教师学习网络的想法,并使用分类子网络来指导美学的整体细粒回归。实验结果,使用思维螺旋式的结果表明,我们提出的方法可以有效地改善美学整体和属性评估的性能。
translated by 谷歌翻译
深度完成旨在预测从深度传感器(例如Lidars)中捕获的极稀疏图的密集像素深度。它在各种应用中起着至关重要的作用,例如自动驾驶,3D重建,增强现实和机器人导航。基于深度学习的解决方案已经证明了这项任务的最新成功。在本文中,我们首次提供了全面的文献综述,可帮助读者更好地掌握研究趋势并清楚地了解当前的进步。我们通过通过对现有方法进行分类的新型分类法提出建议,研究网络体系结构,损失功能,基准数据集和学习策略的设计方面的相关研究。此外,我们在包括室内和室外数据集(包括室内和室外数据集)上进行了三个广泛使用基准测试的模型性能进行定量比较。最后,我们讨论了先前作品的挑战,并为读者提供一些有关未来研究方向的见解。
translated by 谷歌翻译
时空视频超分辨率(STVSR)旨在从相应的低帧速率,低分辨率视频序列构建高空时间分辨率视频序列。灵感来自最近的成功,考虑空间时间超级分辨率的空间信息,我们在这项工作中的主要目标是在快速动态事件的视频序列中充分考虑空间和时间相关性。为此,我们提出了一种新颖的单级内存增强图注意网络(Megan),用于时空视频超分辨率。具体地,我们构建新颖的远程存储图聚合(LMGA)模块,以沿着特征映射的信道尺寸动态捕获相关性,并自适应地聚合信道特征以增强特征表示。我们介绍了一个非本地剩余块,其使每个通道明智的功能能够参加全局空间分层特征。此外,我们采用渐进式融合模块通过广泛利用来自多个帧的空间 - 时间相关性来进一步提高表示能力。实验结果表明,我们的方法与定量和视觉上的最先进的方法相比,实现了更好的结果。
translated by 谷歌翻译
关于对比学习的最新研究仅通过在医学图像分割的背景下利用很少的标签来实现出色的性能。现有方法主要关注实例歧视和不变映射。但是,他们面临三个常见的陷阱:(1)尾巴:医疗图像数据通常遵循隐式的长尾分配。盲目利用训练中的所有像素会导致数据失衡问题,并导致性能恶化; (2)一致性:尚不清楚分割模型是否由于不同解剖学特征之间的类内变化而学会了有意义但一致的解剖学特征; (3)多样性:整个数据集中的切片内相关性已得到明显降低的关注。这促使我们寻求一种有原则的方法来战略利用数据集本身,以发现不同解剖学观点的类似但不同的样本。在本文中,我们介绍了一种新型的半监督医学图像分割框架,称其为您自己的解剖结构(MONA),并做出了三个贡献。首先,先前的工作认为,每个像素对模型培训都同样重要。我们从经验上观察到,仅此单单就不太可能定义有意义的解剖特征,这主要是由于缺乏监督信号。我们通过使用更强大的数据增强和最近的邻居展示了学习不变的两个简单解决方案。其次,我们构建了一组目标,鼓励模型能够以无监督的方式将医学图像分解为解剖特征的集合。最后,我们在具有不同标记设置的三个基准数据集上的广泛结果验证了我们提出的MONA的有效性,该数据在不同的标签设置下实现了新的最新设置。
translated by 谷歌翻译
美国庞大的桥梁网络对其维护和康复提出了很高的要求。手动视觉检查的大量费用在某种程度上是一定程度的负担。高级机器人已被利用以自动化检查数据收集。在大量检查图像数据中,自动化多类元素的分割以及元素的表面缺陷将有助于对桥梁条件进行有效评估。培训单独的单任务网络,用于元素解析(即多类元素的语义分割)和缺陷分段无法在检查图像中合并这两个任务之间的密切连接,其中存在可识别的结构元素和明显的表面缺陷。本文的动机是开发多任务深神经网络,该网络完全利用桥梁元素和缺陷之间的这种相互依赖性来提高模型的性能和概括。此外,研究了提议的网络设计改善任务性能的有效性,包括特征分解,串扰共享和多目标损耗函数。开发了带有桥梁元件和腐蚀的像素级标签的数据集,用于培训和评估模型。评估开发的多任务深神经网络的定量和定性结果表明,推荐的网络不仅超过了独立的单任务网络(在桥梁解析上高2.59%,在腐蚀细分方面高2.59%),而且在计算时间和实施中也是如此能力。
translated by 谷歌翻译
空中机器人(例如无人机)已被利用进行桥梁检查。可以通过板载摄像机收集具有可识别的结构元素和明显表面缺陷的检查图像,以提供有价值的信息以进行条件评估。本文旨在确定用于在检查图像中解析多类桥梁元素的合适的深神经网络(DNN)。一组广泛的定量评估以及定性示例表明,高分辨率净(HRNET)具有所需的能力。通过数据增强和130张图像的训练样本,预先训练的HRNET有效地转移到结构元件解析的任务中,并达到了92.67%的平均F1得分和86.33%的平均值。
translated by 谷歌翻译
最近的作品显示了深度学习模型在词汇(IV)场景文本识别中的巨大成功。但是,在现实情况下,播音外(OOV)单词非常重要,SOTA识别模型通常在OOV设置上表现较差。受到直觉的启发,即学习的语言先验有限的OOV预言性,我们设计了一个名为Vision语言自适应相互解码器(VLAMD)的框架,以部分解决OOV问题。 VLAMD由三个主要谱系组成。首先,我们建立了一个基于注意力的LSTM解码器,具有两个适应性合并的仅视觉模块,可产生视觉平衡的主分支。其次,我们添加了一个基于辅助查询的自动回归变压器解码头,以进行通用的视觉和语言先验表示学习。最后,我们将这两种设计与双向培训相结合,以进行更多样化的语言建模,并进行相互的顺序解码以获得强烈的结果。我们的方法在IV+OOV和OOV设置上分别实现了70.31 \%和59.61 \%单词的准确性,分别在ECCV 2022 TIE TIE Workshop上的OOV-ST挑战的裁剪单词识别任务上,我们在这两个设置上都获得了第一名。
translated by 谷歌翻译
从图像中学习心脏运动中的时空对应关系对于理解心脏解剖结构的潜在动力学很重要。许多方法明确施加了平滑度约束,例如位移矢量字段(DVF)上的$ \ Mathcal {l} _2 $ NORM,而通常忽略转换中的生物力学可行性。其他几何约束要么正规化特定的感兴趣区域,例如在心肌上施加不可压缩性,要么引入其他步骤,例如在物理模拟的数据集上训练单独的基于网络的正规器。在这项工作中,我们提出了一个明确的生物力学知识,因为在所有心脏结构中对更通用的生物力学上可行的转化进行建模,而无需引入额外的训练复杂性,因此对预测的DVF进行了正则化。在2D MRI数据的背景下,我们验证了两个公开可用数据集的方法,并执行广泛的实验,以说明与其他竞争性正规化方案相比,我们提出的方法的有效性和鲁棒性。我们提出的方法可以通过视觉评估更好地保留生物力学特性,并使用定量评估指标显示分割性能的优势。该代码可在\ url {https://github.com/voldemort108x/bioinformed_reg}上公开获得。
translated by 谷歌翻译